统计显著性

一句话解释：统计显著性是指 A/B 测试中观察到的差异，在统计学上不太可能仅由随机波动造成；通常当 p 值小于 0.05（即置信水平 95%）时，我们认为结果具有统计显著性。

生活化类比

想象你抛一枚硬币 10 次，结果出现了 7 次正面。你会立刻断定这枚硬币被动了手脚吗？大概率不会——因为样本太小，随机性很容易造成这种偏差。但如果你抛了 1000 次，出现了 700 次正面，那你几乎可以确定这枚硬币有问题。

A/B 测试也是同样的道理。两个版本的转化率有差异，不一定代表新版本真的更好，可能只是“运气”使然。统计显著性就是帮你判断：这个差异到底是真实的，还是随机波动造成的“假象”。

统计显著性的核心是假设检验，主要步骤如下：

1. 建立零假设（H₀）：假设两个版本没有差异，转化率相同。

2. 建立备择假设（H₁）：假设两个版本存在真实差异。

3. 计算 p 值：在零假设成立的前提下，观察到当前或更极端结果的概率。

4. 判断：若 p 值 < 显著性水平（通常 α = 0.05），拒绝零假设，认为结果显著。

常用公式（两比例 Z 检验）：

Z = \frac{p_1 - p_2}{\sqrt{p(1-p)\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}

其中：

- \(p_1, p_2\)：两组转化率

- \(p\)：合并转化率

- \(n_1, n_2\)：两组样本量

计算出 Z 值后，查正态分布表得到 p 值。例如 Z = 1.96 对应 p = 0.05（双侧检验）。

置信水平与置信区间：95% 置信水平意味着，如果重复实验 100 次，约 95 次的结果会落在置信区间内。置信区间不包含 0（对于差值）通常等价于结果显著。

场景一：独立站落地页 CTA 按钮颜色测试

某独立站测试红色按钮（A）vs 绿色按钮（B）：

- A：访问 5,000 人，转化 250 人，转化率 5.0%

- B：访问 5,000 人，转化 300 人，转化率 6.0%

计算得 Z ≈ 2.24，p ≈ 0.025 < 0.05，结果显著。可以认为绿色按钮确实带来了更高的转化率，提升幅度为 20%（相对提升）。

场景二：跨境电商邮件营销主题行测试

- 主题行 A：发送 10,000 封，打开 1,200 封，打开率 12%

- 主题行 B：发送 10,000 封，打开 1,350 封，打开率 13.5%

Z ≈ 3.13，p ≈ 0.0017 < 0.05，显著。B 版本打开率更高，建议采用。

场景三：样本不足导致不显著

- 版本 A：访问 200 人，转化 10 人，转化率 5%

- 版本 B：访问 200 人，转化 16 人，转化率 8%

虽然看起来 B 更好，但 p ≈ 0.22 > 0.05，不显著。此时不能下结论，需要继续收集样本。按 80% 功效计算，至少需要每组约 1,500 人才能检测出 3% 的绝对差异。

1. 显著 = 重要：统计显著只说明差异真实存在，不代表差异有商业价值。转化率从 5.0% 提升到 5.1% 可能显著，但实际收益微乎其微。

2. 不显著 = 没差异：样本量不足时，真实差异也可能检测不到。不显著只能说明“证据不足”，不能证明“没有差异”。

3. 多次偷看结果：在实验中途反复查看 p 值，一旦显著就停止，会大幅提高假阳性率。应预先确定样本量和实验周期。

4. 忽略多重比较：同时测试多个指标或多个版本时，假阳性概率会累积。需使用 Bonferroni 校正等方法调整显著性水平。

5. 混淆统计显著与置信区间：置信区间不仅告诉你是否显著，还告诉你差异的可能范围，信息更丰富。

6. p 值误解：p = 0.03 不代表“有 3% 的概率是随机结果”，而是“如果零假设为真，观察到当前结果的概率是 3%”。